ניתוח בזמן אמת של נתוני טוויטר מתבצע על ה- SGI UV 2000
SGI – חברת המחשוב הטכני המיוצגת בישראל ע"י TNN טלקום מקבוצת רפק הבורסאית, חברה לשני מדענים מובילים – קאלב ליטארו מאוניברסיטת אילינוי וד"ר שאוון וואנג ממעבדת תשתיות סייבר ומידע גיאו-מרחבי (CIGI) באוניברסיטת אילינוי, ליצירת ה- Global Twitter Heartbit.
מדובר בניתוח והמחשה ראשונים מסוגם של ציוצים (טוויטים), המשלב ניתוחי אוכלוסייה, טון הציוץ וגאוגרפיה, המתבצעים על מחשב SGI UV 2000 Big Brain.
ישראל וינמן, מנהל פעילות SGI ב- TNN טלקום, אומר כי היכולת לנתח Big Data בדרכים מתוחכמות בזמן אמת, מאפשרת לארגונים ממשלתיים ופרטיים ליהנות מתוכנות מיידיות אשר ניתן לפעול לפיהן, שהנן רלבנטיות לשפע יישומים.
יחד עם זאת, היכולות הללו מאפשרות לחוקרים, מדענים ומהנדסים הניצבים בפני בעיות עתירות נתונים, לעבור במהירות מנתונים לתובנות ולהפוך מידע לידע.
פרויקט Global Twitter Heartbit מבצע בזמן אמת עיבוד נתונים של 10% מתוך 500 מיליון הציוצים היומיים בטוויטר, כאשר אלה עולים לאוויר.
הפרויקט מנתח כל ציוץ להקצאת מיקומו (לא רק ציוצים מתויגי-GPS, אלא עיבוד הטקסט של הציוץ עצמו) וערכי טון הדברים, ואז ממחיש את השיחה במפה אינפוגרפית המציבה מיקום ציוץ, צפיפות ציוץ והטון שלו לתוך נקודת מבט גאו-מרחבית מאוחדת.
עם ה- SGI UV מתבצע התהליך המלא מקליטת הציוץ דרך ניתוח נתונים ועד ל"מפת חום" (Heat Map), במהירות המאפשרת המחשה של מסגרת מפה בכל שנייה.
הפרויקט בחן שני אירועים משמעותיים שהיו לאחרונה – הוריקן סנדי והבחירות לנשיאות ארה"ב. בשני האירועים נשלחו מיליוני ציוצים, ועשו את טוויטר לפלטפורמה רבת משמעות עבור תקשורת המתרחשת בכל דקה.
לבחירת נשיא ארה"ב דיוחה טוויטר על 327,452 ציוצים בדקה כאשר שידורי החדשות החלו לחזות את נצחונו של אובמה. הציוץ על ניצחון הנשיא אובמה הפך למסר המצויץ ביותר בהיסטוריה, וקבע את השיא 22 דקות בלבד אחרי שהציוץ הועלה.
כפי שנראה באנימציות של ה- Heat Maps במרווחי זמן, צופים מסוגלים לחיות מחדש את האירועים כפי שקרו בטוויטר. הפרויקט הבחין בגידול מאסיבי בתעבורת טוויטר כאשר הוריקן סנדי התקרבה, נחתה על היבשה והתפשטה ברחבי החוף המזרחי של ארה"ב.
עבור הבחירות לנשיא ארה"ב הראו ה- Heat Maps את הדינאמיקה של צפיפות ומיקום הציוצים התומכים בנשיא אובמה או במושל מיט רומני במהלך יום הבחירות, מהסקרים הראשונים עד אחרי נאום ניצחון של הנשיא אובמה.
"גישה זאת של ניתוח נתונים בזמן-אמת, דומה להחזקת טלסקופ חדש בידיים. אנו רואים את הטוויטרספרה בדרך זאת בפעם הראשונה, ועדיין איננו בטוחים איך למצוא בכך היגיון ומה זה אומר לנו, אבל זה מאפשר לנו לראשונה להציץ לעולם הכאוטי המבולבל, שהנו קצב הלב של החברה שלנו", אמר קאלב ליטארו. "SGI UV מאפשר למשתמשים להפוך על ראשה את הגישה המסורתית של קבלת החלטות עם היכולת לזכות בתובנות כאשר הן מתרחשות, כך שניתן לקרוא לכך עולם "פוסט-דמוגרפי" בו אנו יכולים לראות תקוות ופחדים של אנשים בזמן אמת, במקום רק לשים אותם בתוך תוויות דמוגרפיות קבועות".
SGI UV – מחשב ה- Big Brain
SGI UV 2000 הנו מכונת כריית נתונים הגדולה ביותר בעולם, היכולה להריץ עד 4096 ליבות וגדלה ל- 64 טרה-בייט של זיכרון משותף Cache-coherent בקצב I/O מרבי של 4 טרה-בייט לשנייה (14 פטה-בייט בשעה). המחשב יכול לעכל את התכנים המודפסים המלאים של ספריית הקונגרס של ארה"ב בתוך פחות מ- 3 שניות.
מחשב SGI UV משמש עבור ניתוח נתונים עתיר ביצועים בתחומי מחקר כמו חקר הקוסמוס ומחקר הגנום האנושי, עד ליישומים מסחריים כמו זיהוי הונאות.
"אנו גאים להביא את הכלים והטכנולוגיה למדענים, אנליסטים של נתונים ומהנדסים. כלים אלה מאפשרים להם למצוא תשובות לבעיות המאתגרות ביותר שלהם", אמר יורגה טיטינגר, נשיא ומנכ"ל SGI. "הבנת Big Data דורשת יותר מאשר מה שגישות ניתוח נתונים מסורתיות יכולות לספק, ומתקדמת אל זירת אנליטיקת נתונים עתירת ביצועים, בה נתוני זמן אמת יכולים להפוך לכסף אמיתי עבור כל ארגון".
חברת TNN טלקום מתמחה בפתרונות מחשוב ותקשורת מתקדמים, ומספקת ציוד מחשוב מתוצרת SGI תקשורת ומולטימדיה למוסדות אקדמיה, חברות תקשורת, תאגידים, לקוחות עסקיים, צה"ל ומערכת הביטחון.
